跳到主要内容

缩放与变换

归一化

归一化是常在机器学习数据准备阶段应用的一种技术。归一化的目标是对数据集中数值列的值进行重缩放,同时不扭曲值范围之间的差异或丢失信息。归一化有多种方法,默认情况下,PyCaret 使用 zscore

参数

  • normalize: bool, default = False
    当设置为 True 时,特征空间会使用 normalized_method 参数中定义的方法进行变换。

  • normalize_method: string, default = 'zscore'
    定义用于归一化的方法。默认方法为 zscore。其他可用选项有:

    z-score 标准 z-score 计算为 z = (x - u) / s minmax 将每个特征单独缩放和平移,使其位于 0 到 1 的范围内。 maxabs 对每个特征单独缩放和平移,使每个特征的绝对最大值为 1.0。它不对数据进行平移/中心化,因此不会破坏稀疏性。 robust 根据四分位距对每个特征进行缩放和平移。当数据集中存在离群值时,robust 缩放器通常能得到更好的结果。

示例

# load dataset
from pycaret.datasets import get_data
pokemon = get_data('pokemon')

# init setup
from pycaret.classification import
clf1 = setup(data = pokemon, target = 'Legendary', normalize = True)

之前

之后

归一化的影响:

特征变换

虽然 归一化 将数据重新缩放到新的范围以减少数量级对方差的影响,特征变换则是一种更激进的技术。变换会改变分布的形状,使变换后的数据可以用正态或近似正态分布来表示。可用的两种变换方法为 yeo-johnsonquantile

参数

transformation: bool, default = False
当设置为 True 时,会应用幂变换以使数据更接近正态/高斯分布。这在处理与异方差性相关的建模问题或其他需要正态性的情况时很有用。用于稳定方差并最小化偏度的最优参数通过最大似然估计获得。

transformation_method: string, default = yeo-johnson
定义用于变换的方法。默认方法为 yeo-johnson,另一可选项是 quantile 变换。两种变换都会使特征集趋于类高斯或正态分布。Quantile 变换是非线性的,可能会扭曲在相同量纲下测量的变量之间的线性相关性。

示例

# load dataset
from pycaret.datasets import get_data
pokemon = get_data('pokemon')

# init setup
from pycaret.classification import
clf1 = setup(data = pokemon, target = 'Legendary', transformation = True)

Before

转换前的数据框视图

After

转换后的数据框视图

Effect of Feature Transformation:

Target Transform

目标变换与特征变换类似,因为它改变的是目标变量的分布形态,而不是特征。此功能仅在 pycaret.regression 模块中可用。

PARAMETERS

transform_target: bool, default = False
当设置为 True 时,目标变量会使用 transform_target_method 参数中定义的方法进行变换。目标变换与特征变换分开应用。 transform_target_method: string, default = yeo-johnson
定义变换方法。默认方法为 yeo-johnson。另一个可用选项是 quantile。当 transform_target = False 时忽略该参数。

示例

# load dataset
from pycaret.datasets import get_data
diamond = get_data('diamond')

# init setup
from pycaret.regression import
reg1 = setup(data = diamond, target = 'Price', transform_target = True)

Before

目标转换前的 DataFrame 视图

After

目标转换后的 DataFrame 视图

上一节:数据准备 下一节:特征工程

最后更新:2 年前